Nhiều nhà lãnh đạo cấp cao của Việt Nam về công tác Vĩnh Phúc hoặc đi ngang qua đều vào nhà thắp hương cho Kim Ngọc. Các đoàn đại biểu ở các tỉnh, nhất là các tỉnh phía Nam, có nhiều đảng viên cộng sản lão thành, khi thắp hương cho Kim Ngọc đã ứa nước mắt.[7]

Năm 1995, ghi nhận những đóng góp công lao, trí tuệ của ông cho sự nghiệp đổi mới của cách mạng Việt Nam, Nhà nước Việt Nam đã truy tặng Huân chương Độc lập hạng Nhất cho Kim Ngọc.

Năm 1996, hai ngôi trường nơi ông sinh ra ở xã Bình Định, huyện Yên Lạc được đặt tên ông. Năm 2005, một trong những con đường đẹp nhất của thành phố Vĩnh Yên cũng được mang tên ông.[6]

Năm 2004, Tỉnh ủy Vĩnh Phúc của Đảng Cộng sản Việt Nam tặng gia đình ông bức tượng tạc bằng đồng nặng tới 45 kg để biểu thị lòng kính trọng Kim Ngọc.

Năm 2009, ông được Nhà nước truy tặng Huân chương Hồ Chí Minh.[8]

Năm 2009, Hãng phim Đài Truyền hình Việt Nam sản xuất bộ phim truyền hình 50 tập "Bí thư Tỉnh ủy" lấy nguyên mẫu cuộc đời ông.